Đối với các hàm khả vi hai lần (twice-differentiable), có thể giải các bài toán không ràng buộc bằng cách tìm các điểm mà tại đó đạo hàm của hàm mục tiêu bằng 0 (điểm dừng) và sử dụng ma trận Hesse để xác định xem đó là cực tiểu, cực đại, hay điểm yên ngựa.

Ta có thể tìm các điểm dừng bằng cách bắt đầu từ một điểm dự đoán là điểm dừng rồi tiến về điểm dừng bằng cách lặp đi lặp lại các phương pháp như

• Phương pháp Gradient (gradient descent)
• phương pháp Newton
• phương pháp Gradient liên hợp (conjugate gradient)
• line search

Nếu hàm mục tiêu là hàm lồi trong vùng quan tâm thì cực tiểu địa phương sẽ là cực tiểu toàn cục. Có các phương pháp số nhanh chóng và hiệu quả cho việc tối ưu hóa các hàm lồi khả vi hai lần.

Các bài toán ràng buộc thường có thể được biến đổi thành một bài toán không có ràng buộc bằng phương pháp nhân tử Lagrange (Lagrange multiplier).

Dưới đây là một số phương pháp thông dụng:

• random-restart hill climbing (leo đồi lặp ngẫu nhiên)
• phương pháp luyện thép (simulated annealing)
• stochastic tunneling (dò tìm ngẫu nhiên)
• giải thuật di truyền
• chiến lược tiến hóa
• differential evolution
• particle swarm optimization (tối ưu bầy đàn)